Stable Diffusion web UIでControlNetを使う
c.f. /motoso/ControlNet試す
0 Stable Diffusion web UIをアップデート
フォルダを右クリック
git bashしてgit pull
bush?基素.icon
bash!!nomadoor.icon
画像つきのページで作ってしまおう
1 拡張機能(sd-webui-controlnet)を入れる
GitHub : https://github.com/Mikubill/sd-webui-controlnet
→ Stable Diffusion web UI 拡張機能のインストール方法#637e683ce2dacc0000bd9b78
2 ControlNetモデルをダウンロードする
ControlNet 1.1https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
Pretrained Models https://huggingface.co/lllyasviel/ControlNet/tree/main/models
軽量版 https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
https://gyazo.com/4c49b4c56f3430e10a816cc8bf88ad58
yamlファイルも必要
→ Hugging Faceからフォルダごとダウンロードする
ダウンロードしたモデルは以下に置く
stable-diffusion-web-ui/extensions/sd-webui-controlnet/models
$ ~~/stable-diffusion-webui/models/ControlNet
3 とりあえず使う
txt2imgタブ or img2imgタブ
https://gyazo.com/f3df43ccf320c46f211c305c075f3568
この設定が増えているはず
Q. 増えていません
A. web UIを再起動
https://gyazo.com/34cf3463775542841821d680d1c65ee3
Enableに✅
RuntimeError: CUDA out of memory.が出た場合Low VRAMにも✅
image
ベースとなる画像
Preprocessor
下準備としてimageをopenposeの棒人間や深度マップへ変換する
最初からopenposeの棒人間やcannyで使えるエッジ抽出画像をimageに入れる場合はnoneにする
Model
Preprocessorに合わせて2でダウンロードしたモデルの中から選ぶ
ほかは通常通り設定してGenerate
作者いわく、Negative promptに
$ longbody, lowres, bad anatomy, bad hands, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality
を入れたほうが良いらしい
4 各種設定
Guess Mode
https://gyazo.com/fb2690bbaa074f467dd1a53ac5e7ecda
プロンプトを入れずに形だけを与えて、ControlNetに中身を考えさせるモード
プロンプトは(Negativeも含めて)なにも書かない
CFGは3~5と低い値にする
https://gyazo.com/65a358d86b889d05d6f5fae222be8cd4
Guidance Start(End)
https://gyazo.com/1f752f139753d0082d43f802c40748cb
ControlNetで制御をかけるタイミングを調整できる
https://gyazo.com/a3e2d360de47045e31671f3ce24f1663
img2imgで使った例(ちょっとわかりにくい)
手だけをControlNetに従わせて書きたい
Guidance Startが0だと最初からcontrol mapに従ってしまうため、他の部分が崩れてしまう
潜在空間である程度形ができた後に制御をかけることで、特定部位だけ編集できる
inpainting的な使い方よりもMulti ControlNetでレイヤー分けのようなことをするで力を発揮できる気がするnomadoor.icon
やってみたnomadoor.icon
OpenPose
https://gyazo.com/ab3eb58276f21899b6db07322c69ad70https://gyazo.com/065c7b04cdf826776a394c09ca9d01f5https://gyazo.com/1a77b0abaf262be45e3a967fb1c6bc41https://gyazo.com/60288e87b8076d9ec6d7842235f18b9f
A1111 ControlNet extension - explained like you're 5 : StableDiffusion
5歳でもわかるControlNetの使い方